nanoMuse:面向全部个人设备的开源智能体
🧭 个人 Agent 多设备协同与开源实现
Zhejiang University
开源多设备个人 Agent,手机/桌面 Hands、共享会话、动作审核与文件记忆
📌 工作参考价值(4 点)
- 多设备 Agent 架构可借鉴:relay 统管设备注册与消息同步,手机/桌面端各自携带 Hands 操作屏幕,适合电商场景下“手机端操作 App + 桌面端处理表格”的混合任务;把会话状态放在 relay,客户端只做执行,降低状态同步复杂度。
- 动作审核层(Sentinel)值得落地:所有 agent 动作先经过审核,能拦截高风险操作;在广告投放、自动下单、批量改价等场景,可把 Sentinel 做成策略引擎,按风险分级决定自动执行/人工确认。
- 用可读文件做记忆,带溯源:memory 以用户可读文件保存,并记录来源;推荐/客服 agent 可把用户偏好、历史行为写成结构化文件,支持人工编辑和审计,避免黑盒记忆。
- 开源可替换模型降低合规成本:企业可自托管 relay 和 agent,模型可选,适配数据合规;但 Hands 操作手机屏幕在真实电商环境需考虑系统权限和稳定性,初期可用于桌面端任务自动化。
Scaffold:基于支撑图理论的图神经网络稀疏化框架
🧭 图神经网络稀疏化 · 支撑图理论
Pacific Northwest National Laboratory · University of Texas at Dallas · University of North Carolina at Charlotte · Adobe · Boise State University
用支撑图理论联合控制 dilation 与 congestion 的拓扑稀疏化方法,在 GNN 上大幅降存提速且保持性能
📌 工作参考价值(4 点)
- 在大规模 user-item 二部图或商品知识图谱上训练 GNN 时,可将 Scaffold 作为预处理边稀疏化步骤,替代随机采样或度中心性采样,在 10%-50% 边保留率下接近全图性能,显存占用减半以上,适合电商推荐中的大规模图训练。
- dilation-congestion 联合约束可以直接借鉴到构建轻量图子图或缓存图结构:删边时评估替代路径长度(dilation)和路径集中度(congestion),避免切断关键通信路径,对实时推荐或增量更新子图有工程价值。
- 方法在异配图(heterophilic)上同样有效,可用于处理社交关系、用户共现等噪声连接较多的场景,提升 GNN 抗噪能力。
- 已开源实现,作为独立预处理模块可快速接入 PyG/DGL 训练流程,端到端训练时间(含稀疏化开销)仍低于全图训练,适合线上迭代。
LLaDA-Image:全开放训练配方构建强大图像生成器
🧭 图像生成 · 开放训练配方
AGI Research Center, Inclusion AI
从零训练6B DiT图像生成模型,开源权重与代码,在Qwen-Image-Bench双榜达到开源SOTA
📌 工作参考价值(4 点)
- 电商商品图/广告素材生成:可借鉴其 image-only pre-training 策略,先利用海量无标注商品图构建视觉生成先验,再做文本对齐,降低对配对图文数据的依赖。
- 训练效率优化:parameter-free RMSNorm 搭配 Muon optimizer 替换 LayerNorm/Adam,可减少显存占用并提升大模型收敛稳定性,适合在自研 DiT 或生成式推荐模型中试验。
- 推理加速:TwinFlow 蒸馏至 2-4 步采样,可用于实时商品素材生成、Agent 内图像生成模块的低延迟部署。
- 数据配方参考:220M 训练样本中 98% 为真实图像,说明高质量真实数据是生成质量的关键,电商可加强商品图质量治理并充分利用 UGC 素材。
OpenForgeRL:在任意环境中训练原生 Harness 智能体
🧭 Agent 端到端 RL 训练与 Harness 解耦 ★ 深度解读
Columbia University · Dartmouth College · Microsoft Research
一个开源框架,通过远程容器化与轻量代理解耦,支持用标准 RL(veRL)在任何智能体框架与任何环境中端到端训练 agent
📌 工作参考价值(4 点)
- 训练与推理解耦的工程模式:用轻量级 Proxy 拦截 Harness 的模型调用,自动重建轨迹,直接将复杂 agent 的交互过程转为 RL 可消费的样本,适用于内部多轮对话/工具调用 agent 的在线强化学习,无需重写训练代码。
- 云端容器化 rollout 编排:Kubernetes 编排远程沙箱,每个 rollout 独立容器,训练节点与 rollout 节点完全分离,可弹性伸缩。在电商推荐中可复现这种「训练 GPU + 远程 CPU 执行环境」的解耦架构,用于策略学习或 Agent 探索。
- 自动任务与环境合成流水线:通过「提出-剪枝-构建-测试-精炼」五步法自动生成大量可执行任务与 Docker 环境,可迁移到推荐系统中生成多样化的用户 query、对话策略或评测任务。
- RL 带来的 agentic 可靠性提升:实验表明 RL 显著改善自我验证、工具覆盖率和多步规划能力,但纠错能力依然薄弱。这提示在业务 Agent 训练中,可针对性地引入纠错样例或辅助任务来补强。
VideoChat3:全开源高效通用视频多模态大模型
🧭 高效通用视频多模态大模型
Nanjing University · Shanghai AI Laboratory · Nanyang Technological University · Peking University
提出膨胀3D ViT与自适应帧分辨率,结合三阶段合成数据,4B参数即超越更大模型,实现高效通用视频理解。
📌 工作参考价值(4 点)
- 视频特征提取效率:I3D-ViT 将 2D ViT 权重直接膨胀到 3D,无需重新训练时空融合模块,可直接迁移到商品视频表征、直播切片理解等场景,大幅降低训练成本。
- 流式处理设计:自适应帧分辨率(Adaptive Frame Resolution)根据视频动态调整抽帧策略,适合电商直播实时分析、监控流式视频中的行为事件,提升吞吐且保持精度。
- 多领域数据合成流水线:通过结构化提示合成多样视频问答对(通用、长视频、流式),可借鉴为推荐系统生成多模态训练数据,例如为商品视频生成属性描述、使用教程等指令微调数据,缓解标注稀缺。
- 全开放生态:模型权重、代码、数据全开源的策略,方便团队快速复现并适配垂直业务,降低自研视频理解模型的门槛,尤其适合需要定制化视觉问答或视频审核的电商场景。
Sumi:从头预训练的开源7B均匀扩散语言模型
🧭 均匀扩散语言模型预训练
Tohoku University
首个从头预训练的大规模均匀扩散语言模型,在知识、推理、编码上与同规模自回归模型竞争,常识略弱
📌 工作参考价值(4 点)
- 扩散生成允许任意位置并行更新,可用于搜索/推荐中的 query 改写、item 描述生成,利用温度调控多样性;微调时可将扩散步数作为可控 knob,平衡质量与延迟。
- 在 Agent 场景中,均匀扩散的迭代修订特性适合生成多步推理或计划,支持中途修正输出,相比自回归更灵活。
- 教育数据偏重导致常识弱,启示我们在推荐领域微调时需注入大量领域交易日志、用户评论等语料,避免常识缺失影响自然度。
- 开源训练配方和完整数据混合说明,可直接复现或调整配比,构建面向电商/广告的垂直 LLM 基座。
COLLEAGUE.SKILL:从人类痕迹自动蒸馏出可检查、可纠正的Agent技能包
🧭 Agent 技能自动化生成 · 专家知识蒸馏 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
提出双轨蒸馏流水线,将人类工作痕迹和交互证据转化为可移植、可检查、可版本管理的Agent技能制品
📌 工作参考价值(4 点)
- 电商场景下,可将资深运营/选品专家的聊天记录、设计文档、审核备注蒸馏为Agent技能包,封装如商品筛选规则、风控阈值、沟通话术模板,实现专家知识的可复用与跨团队传递。
- 双轨设计分离“能力”与“行为”,能力轨道存放业务规则、决策启发式,行为轨道约束交互风格与边界;在推荐Agent中可分别调控推荐策略与推荐理由的生成语气,避免能力与人格混淆。
- 基于自然语言的修正和版本回滚机制:Agent上线后,业务人员用“这里不该推荐此类商品”等反馈直接修正技能包,系统自动归档旧版本并生成新版本,便于审计和快速实验。
- 本地优先的治理与安装器:技能包可作为本地文件管理、删除和分发,支持主流Agent主机(Claude Code、Codex等),适合企业内部敏感知识的受控使用;画廊模式可构建内部技能市场。